Search Results for "ai 推理"
NVIDIA 的 TensorRT-LLM 多模块注意力在 HGX H200 上提升 AI 推理性能
NVIDIA 的 TensorRT-LLM 引入多模块注意力，显著提升了 HGX H200 上的 AI 推理吞吐量，提升幅度高达 3.5 倍，解决了长序列长度的挑战。
AWS 扩展 NVIDIA NIM 微服务以增强 AI 推理能力
AWS 和 NVIDIA 通过在 AWS 平台上扩展 NIM 微服务，加强了 AI 推理能力，提高了效率并减少了生成式 AI 应用的延迟。
NVIDIA 发布 Blackwell Ultra，革新 AI 推理
NVIDIA 推出 Blackwell Ultra，一个为 AI 推理时代设计的平台，为训练、后期训练和测试时间扩展提供增强性能。
NVIDIA 发布 GeForce NOW 以增强游戏 AI 和开发人员访问
NVIDIA 的 GeForce NOW 扩展了其云游戏服务，为开发人员提供了新的 AI 工具和无缝的游戏预览体验，扩大了全球玩家的访问权限。
NVIDIA 发布 RTX 版 TensorRT：增强 Windows 11 上的 AI 推理
NVIDIA 推出 RTX 版 TensorRT，这是一个为 Windows 11 优化的 AI 推理库，在创意、游戏和生产力应用程序中增强了 AI 体验。
NVIDIA NVLink 和 Fusion 提升 AI 推理性能
NVIDIA 的 NVLink 和 NVLink Fusion 技术通过增强的可扩展性和灵活性重新定义了 AI 推理性能，以应对 AI 模型复杂性的指数级增长。
NVIDIA 的 Rubin CPX GPU 革新长上下文 AI 推理
NVIDIA 发布 Rubin CPX GPU，通过前所未有的效率增强 AI 推理，可处理 100 万以上的 tokens 工作负载，变革软件开发和视频生成等领域。
NVIDIA Grove 简化 Kubernetes 上的 AI 推理
NVIDIA 推出 Grove，这是一个 Kubernetes API，可以简化复杂的 AI 推理工作负载，增强多组件系统的可扩展性和编排能力。
